#text embeddings

2 篇

Scaling and Distilling Text Embeddings for Better Diffusibility

扩展与蒸馏文本嵌入以提升扩散语言模型适用性

🧭 扩散语言模型 · 文本嵌入蒸馏

University of Michigan

通过扩展嵌入模型并用解码概率软标签蒸馏，使连续扩散语言模型生成有效文本，Gen PPL 17.8 优于 GPT-2-M

📌 工作参考价值（4 点）

在生成式推荐或 Semantic ID 场景中，若用扩散模型生成 item/query 嵌入，不要直接使用过度判别的预训练编码器；可借鉴“教师解码概率作为软标签”的蒸馏方式，使相近候选嵌入更聚拢，提升解码有效性和生成质量。
对 query 推荐/改写、push 文案生成等文本生成任务，可在训练连续扩散 LM 时加入 embedding 蒸馏阶段，让潜在空间更连通，减少无效输出（如解码到不存在的 token 或语义 ID）。
评估生成式模型时，除 PPL 外可引入“生成熵 vs. Gen. PPL”曲线，判断模型能否在真实文本熵水平下保持低困惑度，作为业务中生成质量的上线 benchmark。
这种先缩放再蒸馏的思路也可迁移到多模态或商品图文表示：用更大 teacher 的 soft targets 蒸馏轻量 embedding，提升下游扩散/生成模型的稳定性。

LLM | 2026-09-30 | HF Daily | score 7/10

嵌入者的困境：LLM 更好，但成本多高？

🧭 文本嵌入与 LLM 成本效益对比

Harvard University · Stanford University · Independent Researcher

控制成本对比 10 个 LLM 与 26 个嵌入模型，发现 LLM 总体仅高 0.4 分，且仅在推理重型检索领先，成本最高贵 1431 倍

📌 工作参考价值（4 点）

在商品相似度、分类、聚类等经典任务上，专用 embedding 模型（甚至小模型）性价比极高，不要盲目用大 LLM 替换；LLM 仅在推理密集型检索（复杂 query 理解、多跳推理）才值得考虑。
若用 LLM 做检索，注意 reasoning tokens 占推理成本 28-81%，可通过限制 reasoning budget（如关闭 thinking 或降低 max tokens）在多数场景保持或提升检索质量，显著降低 API 成本。
构建 embedding 服务时，用类似 MTEB(LLM) 的基准做成本-质量 Pareto 前沿分析，结合自身业务指标选择前沿模型；同时关注本地 GPU 吞吐，open LLM 比同 GPU 上的 embedding 模型慢 2.5-736 倍。
电商/搜索场景可分层：embedding 模型负责粗排和相似度召回，LLM 仅用于长尾 query 改写、意图解析或复杂检索，避免全量 LLM 推理。

Eval | 2026-08-12 | HF Daily | score 7/10